#Query Performance Prediction

4 篇

Search Engines Never Say No: How Frozen Agents React When the Retrieval Tool Refuses

搜索引擎从不说“不”：冻结 Agent 面对检索工具拒答时的反应

🧭 搜索 Agent · 工具侧拒答机制 ★ 深度解读

工具侧返回 NULL 拒答信号，让顺从 Agent 弃答率提升 243%，并给出按 recall 定价的收益曲线

📌 工作参考价值（5 点）

在电商搜索/导购 Agent 的检索出口加“拒答门”，不改模型和检索栈：对 Qwen3-8B/32B、Haiku 这类顺从模型，一句 NULL_RESULT + 解释就能把不可答问题的弃答率从 24% 拉到 84%、幻觉率从 65% 降到 10%，且可答准确率不降。
拒答 wording 必须放进 observation，不是 system prompt；效果排序 directive > explanation > bare token，soft warning 几乎无效。线上无货/无匹配结果适合写成“没有可靠结果，可能索引没有该信息；请换 query 或回答 unknown”。
对闭源强模型（Sonnet/Opus 5.5）工具侧拒答失效，它们更吃 system-prompt 指令（+16 点 vs 工具侧 +2 点）。多模型混合部署时建议按模型家族分别配置拒答策略。
真实收益受 miss-detector 的 recall 上限约束：在固定 false-refusal budget 下，弃答收益几乎由触发器 recall 决定。可先用轻量 QPP/交叉编码器，再按 recall-收益曲线判断是否值得上 LLM judge；detector 不行时改 agent 也白搭。
用删除黄金段落/答案串构造 index-hole 测试集，比人工标注便宜且边界干净；适合复用到商品知识库 RAG 的不可答样本评估。

Agent | 2026-10-04 | cs.IR | score 8/10

预测智能体RAG中部分答案质量与效用

🧭 Agentic RAG 轨迹质量预测与早停

University of Glasgow

提出轨迹内探针框架，预测Agentic RAG中间答案质量与增量效用，实现约11%早停节省且保持98%质量

📌 工作参考价值（4 点）

在电商/购物助手的多跳 Agentic RAG 场景中，可在每次检索-推理后强制生成一个 partial answer，用轻量回归/分类器实时预测其质量或增量效用，作为动态早停信号，而非固定最大步数；论文显示可省约 11% 迭代次数且仅损失约 2% 最终质量。
可借鉴的三类轨迹特征：intra-iteration（当前检索结果与 query 的相关性、query 特异性）、inter-iteration（partial answer embedding 漂移/趋于稳定）、query-iteration（query 改写相似度），组合成在线 guardrail，适合低延迟、高吞吐的推荐/问答服务。
质量预测比效用预测更可靠（Pearson r > 0.43 vs. 效用更低），工程落地时建议以质量阈值/置信度为主要停止判据，效用 delta 可作辅助信号或用于异常检测，避免因效用预测噪声导致过早切断有效推理。
商品搜索/导购场景中，用户问题常需多轮查询细化，可把该框架扩展到“是否已获得足够商品信息”的判定，减少无效检索与 LLM 调用，同时保持答案完整度。

RAG | 2026-09-15 | cs.IR | score 7/10

量级幻象：重新思考推理密集型检索中的置信度

🧭 RAG 检索置信度与拒答优化

UNSW Sydney · University of Innsbruck

发现相似度分数大小在逻辑/时间推理查询中失效，提出零成本的分数分布信号可显著提升检索拒答 AUROC

📌 工作参考价值（4 点）

在电商/客服/广告的 RAG 场景中，不要用原始相似度分数阈值做检索拒答；直接计算 top-1 与 top-k 的 Score Gap（s1 - sk）或 LSMV（局部分数均值与方差），零成本替换 magnitude thresholding。
对于需要逻辑/时间约束的查询（如“价格低于500且评分4.5以上的红色连衣裙”），语义相似度分数会误导置信度判断，必须引入分数分布信号，否则拒答策略接近随机。
工程实现上，只需在召回后保留 top-k 的分数向量，在线计算 gap / variance，无需额外推理或模型加载；可先离线在 reasoning-intensive 查询集上验证 AUROC，再决定是否上线。
评估检索器或 RAG 流水线时，除了 recall/NDCG，建议加入基于分布信号的 abstention AUROC，尤其在逻辑、时间推理类查询上，能暴露 magnitude 指标的盲区。

RAG | 2026-09-14 | cs.IR | score 7/10

你的检索器已经知道：面向RAG检索充分性的分布形状QPP

🧭 RAG检索充分性预测 · 分布形状QPP ★ 深度解读

Department of Mathematics, FNSPE CTU in Prague · Institute of Information Theory and Automation, Czech Academy of Sciences

24个分布形状特征2ms预测RAG检索充分性，AUROC 0.856超过LLM judge 0.649

📌 工作参考价值（4 点）

在电商/搜索推荐RAG链路中，可以用检索/召回分数向量的分布形状特征（top1-top2 gap、top-10 std、decay slope、bimodal gap、gap concentration等）构造轻量「检索充分性/置信度」模型，判断top-k是否含可回答结果；无需读商品内容或调用LLM，2ms级在线可自动触发query改写、扩大召回或直接生成答案。
LLM judge不要单独做置信度，把其分数作为额外特征加入小分类器（Logistic/Ridge/MLP）形成hybrid：在安全关键/对抗query上AUROC更高（SÚJB adversarial-detection 0.954），且误答率从12–16%压到6–7%；若LLM推理已在链路中，这种as-feature组合比单独judge更值得用。
多领域/多站点迁移建议用lean特征子集：全量24特征LODO从0.856掉到0.706，而13特征S1-Lean（8分布+5query-surface）恢复到0.719并改善校准；跨域部署优先选lean子集而非全量模型。
对无答案/对抗query检测，分数分布形状尤其有效：unanswerable query的top-k分数分布平坦，S1在SÚJB对抗检测AUROC 0.934 vs MaxSim 0.489；可作为推荐系统防冷启动、防误导、防幻觉的置信度开关。

RAG | 2026-09-10 | cs.IR | score 8/10